Новости Статьи Российское ПО VMware Veeam StarWind vStack Microsoft Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6490 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru | Ссылка дня: Полный список лабораторных работ VMware Hands-on Labs

vmkping в VMware vSphere - через какой интерфейс VMkernel пойдут пинги?


Недавно мы писали про сетевой траблшутинг хостов VMware ESXi, где упоминали утилиту vmkping, с помощью которой можно пинговать какой-нибудь IP-адрес через  порт VMkernel. Но как быть если у вас 2 таких порта?

Через какой адаптер пойдет пинг?

Для этого случая есть параметр -I, который определяет через какой интерфейс пинговать (в нашем случае vmk1, а не vmk2):

# vmkping -I vmk1 IP-target

Источник, который рекомендует еще вот эту статью про vmkping с Jumbo Frames.


Таги: VMware, vNetwork, ESXi, Troubleshooting

Официальные и неофициальные стенсилы Microsoft Visio для документирования инфраструктуры VMware vSphere, VMware View и других продуктов.


Время от времени мы пишем о графических материалах, позволяющих пользователям и партнерам VMware документировать виртуальную инфраструктуру VMware vSphere, VMware View, VMware SRM и прочее. Мы писали о наборе картинок для VMware vSphere 5 тут и тут, вот об этом наборе иконок, картинок и диаграмм, об этом, а также и об этом неофициальном наборе стенсилов Visio.

Последний как раз вчера и обновился в составе третьей части, которая теперь включает в себя картинки, графику и стенсилы для следующих компонентов:

  • Orchestrator
  • CapacityIQ
  • Chargeback
  • Appspeed
  • Site Recovery Manager
  • Studio
  • vCloud Director
  • VMware Server
  • View
  • ThinApp
  • vCloud Director

Превьюшки некоторых наборов:

Скачать все это дело можно по следующим ссылкам:

v3 (2012) (Full package) Part 1 Part 2 Part 3
v2 (2010) (Full package) Part 1 Part 2 Part 3
v1 (2009) (Full package) Part 1 Part 2

Сделал этот полезный набор Maish Saidel-Keesing.

А вот актуальные на сегодняшний день официальные иконки, картинки и диаграммы от VMware Branding Team:

В формате Power Point:

Обратите внимание, что VMware настаивает на включении в документы, которые содержат эти картинки, какого-то бредового текста, который вы увидите в начале данных презентаций.

Еще парочка интересных наборов:

Иконки там вот такие:

Есть еще вот такой набор картинок и стенсилов (некоторые уже устарели, некоторые еще в бою):

И вот такой:

Если в инфраструктуре есть продукты Veeam:

Вроде все. Не благодарите.


Таги: VMware, vSphere, ESXi, SRM, View, Graphics, Microsoft, Visio, Blogs

Сетевой траблшутинг хостов VMware ESXi.


В инфраструктуре VMware vSphere для диагностики сетевых неполадок иногда приходится в сервисной консоли серверов VMware ESXi тестировать различные соединения. В этой заметке мы вкратце опишем, как это делается.

Прежде всего, обычный пинг через стандартный Management-интерфейс:

# ping <IP хоста>

Пинг через порт VMkernel (в ESXi это тот же самый интерфейс, а в ESX - другой):

# vmkping 192.168.48.133

PING 192.168.48.133 (192.168.48.133): 56 data bytes
64 bytes from 192.168.48.133: icmp_seq=0 ttl=64 time=0.978 ms
64 bytes from 192.168.48.133: icmp_seq=1 ttl=64 time=1.009 ms

Для проверки соединения сервера VMware ESXi с хостом по какому-нибудь порту используется утилита netcat (nc). Telnet есть только на ESX. Формат использования netcat:

# nc -z <IP хоста> <порт хоста>

Например:

# nc -z 192.168.48.133 80
Connection to 192.168.48.133 80 port [tcp/http] succeeded!

С помощью netcat можно проверять только TCP-соединения, для UDP (флаг -uz) всегда будет статус succeeded (даже если порт заблокирован или закрыт), так как соединения по UDP не устанавливается. Для того, чтобы тестировать UDP-соединения можно воспользоваться утилитой tcpdump-uw.

Команда nc может быть использована для сканирования диапазона портов (будьте осторожны со сканированием, чтобы не навлечь гнев безопасников):

# nc -w 1 -z 192.168.48.133 20-81
Connection to 192.168.48.133 22 port [tcp/ssh] succeeded!
...
Connection to 192.168.48.133 80 port [tcp/http] succeeded!

Опция -w определяет таймаут между соединениями.

Для траблшутинга SSL-соединений может быть использована следующая команда:

# openssl s_client -connect <IP хоста>:<ssl-порт>

В результате, вы увидите нечно подобное:

# openssl s_client -connect 192.168.48.133:443
CONNECTED(00000003)

Вывод может содержать полезную информацию об SSL-сертификатах, что может помочь в дальнейшем при поиске источника проблемы.

Для того, чтобы вывести список TCP/UDP-соединений на хосте, можно воспользоваться командами:

  • На ESX 3.5/4.x – # netstat -tnp
  • На ESXi 4.1 – # esxcli network connection list
  • На ESXi 5.0 – # esxcli network ip connection list

Выводом будет что-то вроде:

# esxcli network connection list
Proto  Recv-Q  Send-Q    Local Address       Foreign Address     State        World ID
  tcp    0       52      192.168.48.136:22   192.168.48.1:55169  ESTABLISHED  0
  tcp    0       0       127.0.0.1:62024     127.0.0.1:5988      TIME_WAIT    0
  tcp    0       0       127.0.0.1:57867     127.0.0.1:5988      TIME_WAIT    0
  tcp    0       0       127.0.0.1:62196     127.0.0.1:5988      TIME_WAIT    0
  tcp    0       0       127.0.0.1:8307      127.0.0.1:52943     ESTABLISHED  5790
  tcp    0       0       127.0.0.1:52943     127.0.0.1:8307      ESTABLISHED  5790
  tcp    0       0       127.0.0.1:80        127.0.0.1:55629     ESTABLISHED  5785
  tcp    0       0       127.0.0.1:55629     127.0.0.1:80        ESTABLISHED  6613
  tcp    0       0       127.0.0.1:8307      127.0.0.1:56319     ESTABLISHED  5785
  tcp    0       0       127.0.0.1:56319     127.0.0.1:8307      ESTABLISHED  5785


Таги: VMware, ESXi, vNetwork, ESX, vSphere, Обучение, CLI

VMware анонсировала платформу виртуализации и защиты сетей - VMware NSX.


Новость уже не свежая, так как стала известной в середине марта, но заслуживающая внимания. Как многие помнят, в середине прошлого года компания VMware приобрела стартап Nicira, выпускающий продукт Network Virtualization Platform (NVP), предназначенный для виртуализации сетей в рамках концепции Software-defined networking (SDN).

Так вот, в середине марта компания VMware сделала анонс платформы VMware NSX, представляющей собой законченное решение для виртуализации и защиты сетей виртуального центра обработки данных.

По-сути, VMware NSX - это решение полученное на основе двух продуктов: купленного Nicira NVP и собственного VMware vCloud Networking and Security (vCNS). Последний предназначен для комплексной защиты виртуального датацентра и построен на базе семейства продуктов VMware vShield.

Платформа VMware NSX включает в себя следующие компоненты:

  • Controller Cluster - это система, состоящая из виртуальных машин, предназначенная для развертывания виртуальных сетей во всем датацентре. Эти машины работают в кластере высокой доступности и готовы принимать управляющие команды от различных средств через API, например, VMware vCloud или OpenStack. Кластер осуществляет управление объектами vSwitches и Gateways, которые реализуют функции виртуальных сетей. Он определяет топологию сети, анализирует поток трафика и принимает решения о конфигурации сетевых компонентов.
  • Hypervisor vSwitches - это виртуальные коммутаторы уровня ядра ESXi с программируемым стеком L2-L4 и конфигурационной базой. Они отвечают за работу с трафиком виртуальных машин, обеспечение туннелей VXLAN и получают команды от Controller Cluster.
  • Gateways - это компоненты, предназначенные для сопряжения виртуальных и физических сетей. Они предоставляют сервисы IP routing, MPLS, NAT, Firewall, VPN, Load Balancing и многое другое.
  • Ecosystem partners - партнеры могут интегрировать собственные виртуальные модули (Virtual Appliances) в инфраструктуру NSX на уровнях L4-L7. Подробнее об этом написано здесь.
  • NSX Manager - это централизованное средство управления виртуальными сетями датацентра (с веб-консолью), которое взаимодействует с Controller Cluster.

Выпуск платформы VMware NSX ожидается во второй половине 2013 года, а пока можно почитать вот эту обзорную статью.


Таги: VMware, NSX, vCNS, Nicira, vNetwork, Enterprsie

Обновление VMware Tools виртуальных машин VMware vSphere без перезагрузки - как это работает на самом деле.


Как многие из вас знают, в VMware vSphere 5.1 была введена возможность обновления пакета VMware Tools "без перезагрузки" гостевой ОС. Многие пользователи были удивлены - как же так, после обновления драйверов не нужно перезагружать сервер? На самом деле это небольшой маркетинговый обман - перезагружать ОС в некоторых случаях, все-таки, придется - чудес не бывает.

Просто исторически (до vSphere 5.1) обновление VMware Tools в любом из компонентов этого пакета требовало перезагрузки. При этом для Windows-систем ее можно было отложить используя опции установщика, например, такие (или так):

setup.exe /S /v"/qn REBOOT=R"

или

setup.exe /S /v"/qn REBOOTPROMPT=S"

Для ОС Unix/Linux драйверы и модули ядра отправлялись на стейджинг и активировались в системе после перезагрузки сервера.

Теперь же, в vSphere 5.1 обновление не всех компонентов VMware Tools требует перезагрузки, однако это применимо только к ОС Windows, для Linux все осталось по-прежнему. Перезагрузка требуется при обновлении следующих компонентов, входящих в состав пакета VMware Tools:

  • Драйвер видеоадаптера VMware SVGA II. Он используется для ОС младше Windows Vista, однако может использоваться в некоторых случаях и для других ОС. Если в системе установлен драйвер VMware SVGA 3D, то его обновление, скорее всего, не потребует перезагрузки. Однако в KB 2015163 указано, что перезагрузка произойти, все-таки, может.
  • Драйвер VMware Pointing Device Driver (PS/2). Этот драйвер используется по умолчанию для всех версий Windows, но обновляется крайне редко. В VMware vSphere 5.1 появился VMware USB Pointing Device driver, который не требует перезагрузки. Если это критично - можно использовать его.
  • Драйверы VMware VMSCSI Controller и VMware PVSCSI Controller Driver. Обновление этих драйверов, скорее всего, потребует перезагрузки, но только в случае, если один из этих драйверов используется для системного диска (с папкой C:\Windows), либо для устройства, файловая система которого используется на момент установки. В других случаях (например, у вас нет дисков на контроллере PVSCSI) - перезагрузка не требуется.
  • Опциональные компоненты. К ним относятся HGFS (функции shared folders) и ThinPrint, которые могут потребовать перезагрузки.

Какие особенности есть у процесса обновления VMware Tools без перезагрузки в VMware vSphere:

  • Работает это для Windows Vista и выше.
  • Работает только для ОС Windows.
  • Для виртуальной машины требуется Virtual Hardware 9 или более поздней версии.

Также стоит прочитать статью о том, следует ли обновлять VMware Tools при апгрейде хостов VMware vSphere.


Таги: VMware, Tools, VMachines, vSphere, ESXi, Upgrade

Долгая загрузка узлов VMware ESXi, когда их виртуальные машины находятся в MSCS.


Многие из вас, кто использует кластеризацию MSCS в виртуальных машинах на платформе VMware vSphere, возможно, замечали, что когда используется кластер Across Boxes (т.е. между ВМ на разных хостах), то перезагрузка хоста VMware ESXi занимает весьма продолжительное время (иногда - до получаса).

При этом на экране консоли написано:

Loading module multiextent.

В логе VMkernel можно увидеть следующее:

Sep 24 12:25:36 cs-tse-d54 vmkernel: 0:00:01:57.828 cpu0:4096)WARNING: ScsiCore: 1353:Power-on Reset occurred on naa.6006016045502500176a24d34fbbdf11
Sep 24 12:25:36 cs-tse-d54 vmkernel: 0:00:01:57.830 cpu0:4096)VMNIX: VmkDev: 2122: Added SCSI device vml0:3:0 (naa.6006016045502500166a24d34fbbdf11)
Sep 24 12:25:36 cs-tse-d54 vmkernel: 0:00:02:37.842 cpu3:4099)ScsiDeviceIO: 1672:Command 0x1a to device "naa.6006016045502500176a24d34fbbdf11" failed H:0x5 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0

Дело здесь в том, что поскольку узлы кластера виртуальных машин используют диск RDM, который напрямую пробрасывается в виртуальную машину и для него используются SCSI reservations, то хост ESXi тратит много времени на обнаружение параметров устройства.

Избежать этого очень просто. Для этого:

  • В ESX / ESXi 4.0 нужно выставить минимальное значение на число повторов операций при обнаружении конфликтов SCSI-резерваций (в Advanced Settings хостов):

Scsi.UWConflictRetries = 80

  • Для ESXi 4.1 появилась дополнительная опция, которая уменьшает таймаут при загрузке в случае обнаружения конфликта. Это значение необходимо выставить в:

Scsi.CRTimeoutDuringBoot = 1

  • Начиная с ESXi 5.0, опция Scsi.CRTimeoutDuringBoot больше не действует. Теперь нужно использовать команды множества esxcli storage. Для этого:

Сначала надо найти NAA-идентификатор устройства (физического LUN, на котором используется RDM). Для этого нужно зайти в управление путями до устройства (Manage Paths) и посмотреть на строчку, начинающуюся с naa...... - это и есть naa id.

Далее в консоли сервера ESXi нужно выполнить следующую команду (она пометит LUN как изначально зарезервированный):

esxcli storage core device setconfig -d naa.id --perennially-reserved=true

После этого хост ESXi, где были проведены данные манипуляции, будет загружаться быстро.

Более подробно о данной проблеме рассказано в KB 1016106.


Таги: VMware, ESXi, Troubleshooting, vSphere, Storage, RDM, MSCS, Microsoft

Вышла бета VMware vCenter Multi-Hypervisor Manager 1.1 - с поддержкой Hyper-V 3.0 в Windows Server 2012.


Не так давно мы писали про странный продукт VMware для управления не только собственной платформой, но и гипервизором от Microsoft - VMware vCenter Multi-Hypervisor Manager. Странным он был потому, что не поддерживал свежую версию Hyper-V 3.0 в Windows Server 2012, а значит, в сущности, был бесполезен.

На днях VMware начала исправлять эту ошибку, выпустив обновленную бета-версию решения VMware vCenter Multi-Hypervisor Manager 1.1, которое теперь поддерживает управление платформой Hyper-V 3.0.

 

VMware vCenter Multi-Hypervisor Manager поставляется в виде плагина к "толстому" клиенту vSphere Client (Web Client не поддерживается), который предоставляет доступ к дереву объектов Microsoft Hyper-V. Серверная часть Multi-Hypervisor Manager - это Windows-приложение, поэтому если вы используете, например, виртуальный модуль VMware vCenter Server Appliance (vCSA), то придется устанавливать MHM на отдельную виртуальную или физическую Windows-машину и связывать его с сервисом vCenter.

Напомним основные возможности vCenter Multi-Hypervisor Manager для хостов Hyper-V и их виртуальных машин:

  • Добавление/удаление хостов Hyper-V в окружение vCenter
  • Информация о конфигурации хостов Hyper-V (processor, memory, network)
  • Создание/удаление виртуальных машин на Hyper-V
  • Удаленная консоль как к самим хостам Hyper-V, так и к виртуальным машинам
  • Простейшие операции по управлению питанием хостов и виртуальных машин (power off, power on, suspend, shut down guest и reset)
  • Изменение настроек виртуальных машин: память, vCPU, диски, сетевые адаптеры и прочее виртуальное "железо"
  • Отображение задач для хостов Hyper-V и виртуальных машин на общей панели задач и событий vSphere Client
  • Интегрированная авторизация с vCenter, а также поддержка механизма пользователей и ролей

Что нового появилось в VMware vCenter Multi-Hypervisor Manager 1.1:

  • Поддержка окружения Microsoft Hyper-V 3.0 и его виртуальных машин (более ранние версии гипервизора также поддерживаются). Кроме того, поддерживается бесплатная платформа Hyper-V Server 2012.
  • Возможность миграции ВМ с хостов Hyper-V на платформу ESX или ESXi.
  • Улучшенная масштабируемость, что выражается в поддержке окружения размером до 50 хостов Hyper-V (ранее было 20).
  • Возможность предоставления собственных сертификатов для сервера MHM из мастера установки.
  • Возможность выбрать сразу несколько объектов в интерфейсе, а также другие улучшения юзабилити.
  • Множественные багофиксы.

Скачать бета-версию VMware vCenter Multi-Hypervisor Manager 1.1 можно по этой ссылке. Руководство пользователя доступно здесь.

Кому-то может пригодиться видео по установке продукта:


Таги: VMware, MHM, Update, vCenter, vSphere, Hyper-V, Windows, Server

Вышла публичная бета распределенного коммутатора Cisco Nexus 1000V для Microsoft Hyper-V.


Еще далекой осенью 2011-го компания Cisco анонсировала доступность своего распределенного коммутатора Cisco Nexus 1000V для платформы Microsoft Hyper-V в новой ОС Windows Server 2012. И только совсем недавно, в начале марта 2013, бета-версия этого продукта наконец стала доступной для скачивания.

Комплект Cisco Nexus 1000V для Hyper-V состоит из следующих компонентов:

  • Управляющий модуль Nexus 1000V Virtual Supervisor Module (VSM) ISO (n1000vh-dk9.5.2.1.SM1.5.0.1.iso)
  • Компоненты, устанавливаемые на хост-серверах Nexus 1000V Virtual Ethernet Module (VEM) MSI package (Nexus1000V.msi)
  • Пакет VSEM Provider MSI Package (CiscoProviderInstaller.msi)
  • Nexus 1000V Installer App
  • Getting Started Guide
  • Документ с тест-кейсами для коммутатора
  • Документация по продукту

Основные возможности распределенного коммутатора Nexus 1000V для Hyper-V:

  • Работа с сетевым взаимодействием виртуальных машин средствами ОС Cisco NX-OS и технологии IEEE 802.1Q.
  • Технология Cisco vPath для интеллектуального перенаправления трафика виртуальных машин на уровнях L2 и L3, а также обеспечения функций политик.
  • Тесная интеграция с System Center Virtual Machine Manager 2012 SP1.
  • Коммутация на уровне L2 с поддержкой ограничения канала передачи (Transmit side Rate Limiting).
  • Поддержка Private VLANs и управление ими на базе политик.
  • Управление профилями портов напрямую из SCVMM.
  • Анализ трафика, включая механизмы VM Migration Tracking, NetFlow v.9 с поддержкой NDE и Cisco Discovery Protocol v.2.

На данный момент в составе беты решения Nexus 1000V для Hyper-V отсутствует компонент для обеспечения информационной безопасности Virtual Security Gateway (VSG).

Напомним, что Nexus 1000V поддерживает только Hyper-V 3.0 в Windows Server 2012 и полностью интегрирован со средством управления виртуальной инфраструктурой System Center Virtual Machine Manager (SCVMM) 2012 SP1 (другие версии бетой не поддерживаются). Запись вебинара на эту тему можно посмотреть тут, а слайды можно скачать здесь.

Полезные ссылки:


Таги: Cisco, Nexus, Microsoft, Update, vNetwork, Hyper-V

Новая инициатива VMware - сообщество Cloud Cred Program.


Интересная, но спорная штука должна оказаться доступной сегодня, 11 марта - VMware Cloud Cred Program. Это новая инициатива по вовлечению профессионалов в сфере виртуализации на базе продуктов VMware в хм.. новый вид социальной игры.

Краткий обзор веб-сервиса Cloud Cred:

Технический обзор на вебинаре VMware, посвященном Cloud Cred:

Участвовать в активностях сервиса можно как отдельному человеку, так и командам (оба варианта также возможны совместно). В этих двух режимах профессионалы и могут собирать очки (слева - индивидуальные очки, справа - очки команды):

По-сути, это новый членомер от VMware для тех, кому требуется еще одна площадка для самовыражения. Видимо, в VMUG'ах стало тесновато и выделиться на фоне безликой толпы админов стало довольно сложно. Поэтому люди будут расти не только на фоне других, но и в глазах себя, зарабатывая очки и бейджи.

Итак, за что же даются эти очки? За выполнение заданий. Вот примеры таких заданий:

Можно вести блог, можно шарить знания с комьюнити, можно участвовать в мероприятиях или выполнять различные лабораторные работы. Например, если вы поставите VMware vCenter и создадите 1 машину на VMware ESXi, то получите 500 очков (подтверждается нотариально заверенным скриншотом):

Также за различные активности и статусы (например, вы vExpert и помогли человеку) вам дают бейджи. Их вы можете распечатать и повесить себе на грудь сайт.

Манчкинируя денно и нощно на очки, можно накопить себе на ручку, футболку и (уау) даже зонт:

Если вы особенно круты - вас засыпят стикерами "I love VMware" и выдадут почетную "Cloud Cred button".

Зарабатывая бейджи и "лидируя" в активностях, можно добиться своего упоминания в твиттере или фейсбуке VMware (вот это да!) или попасть на вечеринку CTO Party (боюсь предположить, что там происходит). А гвоздем программы и главным призом является посещение конференции VMword с компенсацией затрат на проезд и проживание + карманные деньги.

Ну что тут сказать? Затея эта, по меньшей мере, спорная по множеству причин. Во-первых, настоящие профессионалы в сфере виртуализации вряд ли могут позволить себе тратить время на столь бесполезное занятие, как получение бейджиков и поинтов. Зато пройдохи, бездельники и лоботрясы - сколько угодно. А ведь платформа вроде как официальная, а значит по ней будут судить о том, кто и какой вклад совершает в комьюнити. Вот и получится из этого сайта примерно то, что многие из вас видели на унылых вмварных эвентах (не все, конечно, вмварные эвенты - унылые).

Во-вторых, коммерциализация блоггинга, шаринга и прочих ингов, совершаемых людьми из филантропических побуждений - не очень хорошая идея. Раньше помогали просто так, а теперь - за поинты, на которые можно купить зонт. Это правильно?


Таги: VMware, Cloud, Blogs, vCloud, Cred

Инструмент для нагрузочного тестирования инсталляций VDI-инфраструктуры - VMware View Planner.


У компании VMware есть специализированное ПО для моделиирования рабочей нагрузки в VDI-среде - VMware View Planner 2.0. К сожалению, это средство доступно только партнерам VMware, однако умной голове не составит труда раздобыть его. Также, напомним, что мы уже писали о средствах тестирования VDI-нагрузок: VDI Sizing Tool и Login VSI.

View Planner поставляется в виде виртуального модуля (Virtual Appliance) в формате OVF, построенного на базе дистрибутива Linux Centos 5.x и требующего 2 GB памяти и один vCPU на виртуальную машину.

View Planner предназначен для генерации различных сценариев рабочей нагрузки виртуальных ПК, включая управление состояниями виртуальных машин, пользователями Active Directory, построение отчетов и прочее. Все это управляется через веб-интерфейс, присутствующий у виртуального модуля, включая службы Active Directory и конфигурации View Connection servers, контролируемые средствами развертываемых на них агентов.

Архитектурно решение VMware View Planner состоит из следующих компонентов:

  • Виртуальные ПК на хостах VMware ESXi.
  • Несколько клиентских виртуальных машин на хостах ESXi - используются для удаленного режима или пассивных тестов, т.е. те, откуда происходит доступ к виртуальным ПК.
  • VDI controller appliance - управляющий модуль View Planner.

View Planner можно запускать в трех различных режимах:

  • Remote mode - в этом случае для каждой тестируемой ВМ будет своя клиентская машина. Это самый затратный с точки зрения необходимых ресурсов способ тестирования, однако самый адекватный.
  • Passive Client mode - в этом режиме клиентских машин требуется меньше и они только пассивно принимают результаты вывода тестируемых машин, а последние генерируют нагрузку. Это позволяет снизить требования к нужным для тестирования ресурсам.
  • Local mode - в этом случае тесты исполняются только на десктопах, без клиентов. Это не учитывает сетевой трафик между ними, поэтому менее репрезентативно, зато и менее затратно.

Вот, например, как работает тест в режиме Remote mode:

Все данные о тестировании нагрузок хранятся в базе данных MySQL.

Модель нагрузки задается в виде блоков, каждый из которых создается под свою задачу для виртуальных ПК:

Пример рабочей нагрузки, генерируемой View Planner:

В качестве результатов работы View Planner вы получите следующие полезные параметры:

  • Время отклика в виртуальном ПК (Responce Time) - показатель QoS для пользователей
  • Статистики использования ресурсов (Resource stats)

Запускаем тест, получаем примерное число виртуальных ПК (пользователей), которые выдержит наша виртуальная инфраструктура с заданным показателем QoS (в данном случае время отклика - 1,5 секунды):

Из таблицы видно, что при заданной модели нагрузки наша VDI-инфраструктура с приемлемым показателем качества обслуживания будет выдерживать максимум ~130 пользователей. Не такого ли ответа на вопрос ожидают те из вас, кто планирует VDI-инфраструктуру у себя в организации?

Чтобы продолжить изучение полезного продукта VMware View Planner, рекомендую обратиться по следующим ссылкам:

Остальное - на официальной странице VMware View Planner.


Таги: VMware, View, Planner, ESXi, VDI, Performance

Пауза (не Suspend) виртуальной машины в VMware vSphere / ESXi.


Администраторы VMware vSphere знают, что для виртуальных машин, работающих на серверах VMware ESXi, есть операция Suspend, которая позволяет поставить виртуальную машину "на паузу", что означает сохранение памяти ВМ на диск. Когда машину потребуется "продолжить" (Resume), ее память с диска будет загружена в физическую RAM и она продолжит исполнять инструкции.

В платформе Microsoft Hyper-V есть такая операция Save, которая работает аналогично операции Suspend в ESXi, однако есть и операция Pause, которая работает несколько иначе: виртуальная машина прекращает исполнять инструкции, но память ее продолжает оставаться загруженной в оперативную память сервера. Вследствие этого, такая ВМ может быть быстро продолжена, так как не требуется загружать память с диска.

Есть ли такая операция в VMware vSphere? Как пишет Вильям Лам, оказывается, есть. Для этого можно поступить с VMX-процессом виртуальной машины так же, как и с любым другим процессом в случае его "замораживания" в Unix-системе.

Итак, чтобы поставить ВМ на такую "паузу", идентифицируем ее PID (Process ID). Для этого выполним команду:

# esxcli vm process list

PID виртуальной машины приведен в секции "VMX Cartel ID" результатов вывода команды:

В качестве альтернативы можно использовать также команду ps:

# ps -c | grep -v grep | grep [vmname]

Ну и, собственно, ставим ВМ на паузу:

# kill -STOP [pid]

Чтобы снять машину с паузы, выполняем команду для продолжения VMX-процесса:

# kill -CONT [pid]

Машинка продолжит возвращать пинги:

Надо отметить, что эта штука не работает с виртуальными машинами, для которых включена функция VM monitoring, поскольку этот механизм ничего не знает о такой возможности по приостановке виртуальных машин.

Ну и, само собой, несмотря на то, что эта штука вполне себе работает, она не поддерживается со стороны VMware.


Таги: VMware, VMachines, ESXi, vSphere, VMX, Blogs

Мартовские изменения в продуктовой линейке компании VMware - новые продукты VMware Hoizon View Suite, изменения vSphere Acceleration Kits и другое.


Недавно мы писали про выход новой версии решения для виртуализации настольных ПК VMware Hoizon View 5.2, а также нового пакета продуктов VMware Hoizon View Suite, но на самом деле в марте появилось еще несколько важных изменений в продуктовой линейке компании VMware.

1. Сегодня, 4 марта, начались продажи VMware Hoizon View 5.2.

При этом произошли следующие изменения:

  • Редакция VMware View Permier поменяла название на VMware Horizon View, при этом действующие партномера и цены сохранились. Издания VMware View Enterprise больше не будет - оно снимается с продаж с 1 октября 2013 года.
  • Ввиду предыдущего пункта, для существующих заказчиков View Enterprise изменяется название у VMware View 5 Enterprise Bundle: Starter Kit 10 Pack на VMware View 5 Enterprise Bundle: 10 Pack. Партномера и цены остаются прежними.
  • Также отдельно будут доступны для заказа продукты VMware Horizon Workspace и VMware Horizon Mirage.

2. С середины декабря 2013 ПО для виртуализации приложений VMware ThinApp будет недоступно как отдельный продукт.

Но с 4 марта 2013 ThinApp входит в состав решений Horizon Workspace, Horizon Mirage, Horizon View, Horizon Suite.

3. С 14 марта 2013 снимаются с продаж наборы лицензий VMware vSphere Acceleration Kit.

А именно:

  • vSphere 5 Standard Acceleration Kit for 6 processors
  • vSphere 5 Enterprise Acceleration Kit for 6 processors
  • vSphere 5 Enterprise Plus Acceleration Kit for 6 processors
  • vSphere 5 Standard with Operations Management Acceleration Kit for 6 processors

Вместо них появляются следующие пакеты:

  • vSphere with Operations Management Standard Acceleration Kit, состоящий из vSphere with Operations Management Standard на 6 процессоров ESXi и 1 лицензии vCenter Server Standard
  • vSphere with Operations Management Enterprise Acceleration Kit, состоящий из vSphere with Operations Management Enterprise и vSphere Data Protection Advanced на 6 процессоров ESXiи лицензии vCenter Server Standard
  • vSphere with Operations Management Enterprise Plus Acceleration Kit, состоящий из vSphere with Operations Management Enterprise Plus и vSphere Data Protection Advanced на 6 процессоров ESXi, и 1 лицензии vCenter Server Standard.

Таким образом, при покупке пакетов Acceleraton Kit компания VMware заставляет пользователей платить за продукт vCenter Operations. Нехорошо.

4. Появляются новые лицензии VMware vSphere с Operations.

Аналогично предыдущему пункту, но уже не в составе пакетов, а при покупке лицензий по процессорам:

  • vSphere with Operations Management Standard, состоящий из лицензий vSphere Standard и  vCenter Operations Management Suite Standard
  • vSphere with Operations Management Enterprise, состоящий из лицензий vSphere Enterprise и  vCenter Operations Management Suite Standard
  • vSphere with Operations Management Enterprise Plus, состоящий из лицензий vSphere Enterprise Plus и  vCenter Operations Management Suite Standard

Обычные лицензии vSphere, к счастью, остаются без изменений. Тут Operations пока насильно не впаривают.

5. С 14 марта доступно приобретение лицензий на продукт VMware vSphere Data Protection издания Advanced.

Об этом продукте мы уже писали вот тут - "Вышел VMware vSphere Data Protection (VDP) Advanced - отличия от обычного VDP". Теперь его можно будет заказывать дополнительно к имеющимся VDP в различных изданиях VMware vSphere.


Таги: VMware, vSphere, Update, VDI, View, Horizon, ThinApp, Mirage, Workspace

Загадочное поведение VMware ESXi: падает vMotion на 13%, нет места, когда оно есть, и прочие аномалии.


Иногда бывает так, что VMware ESXi может начать вести себя странно, но симптомы могут быть совершенно разными, например:

  • Не работает vMotion - отваливается на 13% с ошибкой "A general system error occurred: Timed out waiting for vpxa to start" или зависает вовсе
  • Не работает консоль виртуальной машины (Unable to contact the MKS)
  • Не зайти на хост VMware ESXi по SSH
  • Хост ругается на отсутствие свободного места, хотя оно есть на разделах ESXi (No free space left on device)
  • и прочие неприятности

При этом иногда сходу и не скажешь, что произошло. А проблема вот в чем: у файловых систем ОС Unix есть объекты inode - структуры данных, где хранится метаинформация о стандартных файлах, каталогах или других объектах файловой системы, кроме непосредственно данных и имени. Так вот, этих inode - ограниченное количество, и при большом количестве файлов они могут просто закончиться.

Чтобы проверить количество доступных inodes надо выполнить следующую команду на VMware ESXi (подробнее в KB 1007638):

[root@esx /]$ stat -f /

Вывод будет похож на этот:

File: "/"
ID: 0 Namelen: 255 Type: ext2/ext3
Blocks: Total: 1259079 Free: 898253 Available: 834295 Size: 4096
Inodes: Total: 640000 Free: 580065

Вот тут мы видим, что из 640 тысяч айнодов свободно 580 тысяч, то есть все в порядке.

Откуда может взяться так много файлов? Оказывается это случается, когда включен демон SNMPD на VMware ESXi 5.1. Каталог /var/spool/snmp начинает быстро засираться файлами SNMP-трапов. Если у вас включен SNMP и в этом каталоге более 2000 файлов - вероятность возникновения описанного выше поведения высока.

Выход - почистить папку и сделать так, как написано в статье KB 2040707.

P.S. Кстати, интересная идея для злодеев.


Таги: VMware, ESXi, Bug, SNMP, vSphere, Bugs, vMotion, Blogs

VMware Horizon View 5.2 - анонс новых возможностей.


На прошлой неделе компания VMware анонсировала новую версию своего решения для виртуализации настольных ПК предприятия VMware Horizon View 5.2. Пользователи предыдущих версий этого продукта, наверняка, заметили, что компания VMware добавила к его названию слово Horizon.

Это все от того, что приставка Horizon означает принадлежность продукта к семейству решений из множества EUC (End User Computing). Продукты под маркой Horizon были объединены в набор VMware Horizon Suite, который включает в себя следующие решения:

  • VMware Horizon View 5.2 - полноценное решения для виртуализации настольных ПК, о котором сегодня пойдет речь.
  • VMware Horizon Mirage 4.0 - продукт о котором мы писали вот тут.  Это решение, которое позволяет создать образ рабочей станции пользователя, разделив его на слои (система, приложения, а также данные и настройки пользователя), а потом централизованно управлять такими образами. То есть, это продукт для физических сред (и сейчас он пока не интегрирован с VMware View).
  • VMware Horizon Workspace 1.0 - это комбинация двух интересных продуктов - Horizon Data (бывший Project Octopus - решение а-ля корпоративный Dropbox, о котором мы много писали вот тут), а также Horizon Application Manager - решение для федерации SaaS-приложений и VDI-сервисов (подробная статья здесь).

Напомним, что раньше комплектацию пакета мы уже описывали тут, но с тех пор все немного изменилось - проект VMware Project AppBlast (мы писали о нем тут) был-таки включен в VMware Horizon View. И теперь концепция стала понятной - в пакете VMware Horizon Suite осталось всего 3 продукта (напомним, что ThinApp уже являлся частью VMware View).

Так во что же превратился AppBlast? В полноценного HTML5-клиента виртуальных ПК VMware View:

А теперь приведем краткий обзор возможностей нового решения VMware Horizon View 5.2 (полный обзор будет опубликован после выхода продукта):

Efficient Use of Storage Capacity with SEsparse Disks

Horizon View 5.2 использует возможности VMware vSphere, представляющие новый формат виртуальных дисков Flexible Space Efficiency (Flex-SE он же SE sparse disk), который позволяет найти оптимальное соотношение между потреблением дискового пространства и нагрузкой на хранилище за счет размера выделяемого для диска блока, а также способа управления этими блоками. Кроме этого, появилась возможность возвращения удаленных и неиспользуемых блоков виртуального диска (в гостевой ОС) системе хранения средствами View Composer.

Unified Client with View Desktops in Horizon

Если решение VMware Horizon View установлено в рамках пакета Horizon Suite, то вы получите централизованную консоль доступа к его компонентам, включая View, а также возможности единого входа (Single Sign-On, SSO).

Clientless HTML5 Access to View Desktops & Apps

Это то самое, о чем рассказано в видео выше. Теперь получить доступ к десктопам View можно безо всяких клиентов - просто посредством браузера с поддержкой HTML 5 (через Horizon View Security Server).

Hardware Accelerated 3D Graphics

Интересная возможность VMware Horizon View, позволяющая использовать аппаратные ресурсы GPU-устройства совместно несколькими виртуальными машинами. По-прежнему, виртуальная машина видит универсальное устройство SVGA device, но теперь уже использует возможности 3D-графики в гостевой системе. Соответственно получается 2 режима использования графической акселерации:

  • vSGA (Shared Graphics Acceleration)      
  • Software 3D renderer

Для таких машин можно делать vMotion без прерывания работы 3D-графики. Пока поддерживаются следующие видеоадаптеры серверов:

  • PCIEx16 slot
  • NVIDIA Quadro 4000, 5000 and 6000
  • Tesla M2070Q
  • GRID K1 and K2
  • Improved Video Chat with MSFT Lync Support

    Это улучшенная поддержка клиентов  Microsoft Lync 2013 в виртуальных ПК, включая полную поддержку VoIP и видеочата для протоколов RDP и PCoIP.

    Такжн появилось несколько новых возможностей по интеграции с клиентскими приложениями Microsoft:

    • Сжатие трафика USB-вебкамер
    • UDP-канал для ускоренной передачи в WAN
    • Улучшенная поддержка USB медиа-устройств

    Windows 8 Desktop Support

    Появилась поддержка виртуальных ПК с гостевыми ОС Windows 8. Исправлены различные баги, имевшие место в предыдущих версиях.

    Куча новых возможностей протокола PCoIP

    Вот только некоторые из них:

    • Поддержка сетевых устройств MITM (Man-In-The-Middle)
    • Настройки PCoIP GPO применяются сразу после изменения
    • Поддержка Multi Touch для Windows 8
    • Существенные улучшения безопасности
    • Улучшения производительности, например, vertical offset caching и другое

    Об этом позднее - в полном обзоре новых возможностей.

    Horizon Based ThinApp Entitlement for View

    Возможность привязать назначение прав на использование виртуальных приложений ThinApp в консоль Horizon Workspace.

    Large Pools with more than 8 hosts

    Ограничение для связанных клонов в 8 штук хостов ESXi для пула было убрано (подробнее - тут). Теперь действует единый лимит - 32 хоста, неважно Linked Clone пул это или нет.

    Multi-VLAN support

    Теперь один базовый образ виртуального ПК можно назначить нескольким VLAN или портгруппам.

    Кэширование данных для VMware View Manager

    Теперь лучше отзывается консоль администрирования (особенно для больших инсталляций).

    Улучшение производительности операций Provisioning, Rebalance, Recompose 

    До двух раз сократилось время развертывания виртуальных ПК и уменьшилось время операции Rebalance для пула.

    Integrated Service Console in VC Web Client

    Эта экспериментальная возможность позволяет веб-клиенту vSphere Web Client "быть в курсе" объектов VMware View (например, Users, Desktops и Pools). Классная и нужная администраторам штука:

    VC Virtual Appliance Support

    Да, теперь для установки VMware View поддерживается виртуальный модуль vCenter (vCSA)!

    New Admin Dashboard Look & Feel

    Теперь новая админка VMware Horizon View выглядит как vSphere Web Client:

    Появились также множественные улучшения безопасности решения - но об этом обо всем в следующей статье.

    Ну и взглянем на максимумы решения VMware Horizon View 5.2 по сравнению с предыдущей версией VMware View 5.1:

    • Теперь (ура!) поддерживается 32 хоста в кластере на основе томов VMFS (было 8)
    • 32 хоста в кластере на основе томов NFS (не изменилось)
    • 16 виртуальных машин на физическое ядро (не изменилось)
    • 1000 виртуальных машин на пул виртуальных ПК (для одной реплики) - не изменилось
    • 140 виртуальных машин на один LUN с поддержкой VAAI (не изменилось)
    • Теперь поддерживается 10 000 ВМ на один сервер vCenter (раньше было 2000)
    • 1000 виртуальных машин на хост VMware ESXi (не изменилось)

    О возможности загрузки VMware Horizon View 5.2 будет объявлено дополнительно.


    Таги: VMware, View, Update, Horizon, Enterprise, vSphere, VDI, VMachines

    Список приложений, поддерживаемых на платформе VMware vSphere / ESXi.


    Если у вас или вашего руководства возникают вопросы о том, поддерживается ли то или иное приложение на платформе VMware vSphere, то теперь вы можете получить достоверный ответ на сайте Business Applications on the VMware Platform. На данный момент в базе данных 3707 приложений и список постоянно пополняется:

    Что означает этот список? Он означает полную поддержку работоспособности данного ПО в виртуальной машине именно со стороны производителя данного бизнес-приложения, а не VMware. То есть, VMware обращается к вендору этого ПО (в том числе по запросам пользователей), а он, в свою очередь, публикует support statement, который также появляется на этом сайте.

    Вот, например, заметка про поддержку IBM WebSphere на VMware vSphere:

    Идем по ссылке и внизу страницы находим официальную информацию про поддержку VMware vSphere:

    Каждый пользователь может самостоятельно составить запрос к вендору того или иного приложения, для этого нужно зарегистрироваться.

    И еще одно - если вам для чего-то нужен этот список в офлайн, можно скачать вот такой полный список поддерживаемых приложений на VMware vSphere со ссылками на support statement.


    Таги: VMware, vSphere, Enterprise, VMachines, ESXi, Support

    Новый документ VMware - Best Practices for Running vSphere on NFS Storage.


    Компания VMware выпустила интересный и полезный документ "Best Practices for Running VMware vSphere on Network-Attached Storage (NAS)", в котором описаны лучшие практики по работе платформы VMware vSphere на IP-хранилищах NAS/NFS, а также рекомендации по их развертыванию.

    В документе рассмотрены различные варианты подключения дисковых массивов NFS, их преимущества и недостатки, а также совместная работа с такими технологиями как Storage I/O Control, VAAI, Network I/O Control, Storage DRS и прочими. Также администраторам будет интересно прочитать про расширенные настройки VMware vSphere, относящиеся к хранилищам NFS.


    Таги: VMware, vSphere, NFS, Whitepaper, Storage, ESXi

    Почему в папке с виртуальной машиной VMware vSphere 5.1 два файла VMX?


    Если вы заглянете в папку с работающей виртуальной машиной в VMware ESXi 5.1 из консоли, то увидите, что там находятся 2 конфигурационных файла VMX:

    Не стоит думать, что файл vmx~ - это lock-файл вроде тех, которые бывают для виртуальных дисков VMDK (lck). На самом деле, это так называемый "edit file", который нужен для того, чтобы вносимые в конфигурацию виртуальной машины изменения сначала сохранялись в нем, а затем эти два файла меняются местами.

    Таким образом, этот файл вам пригодится, если оригинальный vmx-файл будет поврежден или потерян, так как vmx~ является точной копией его последнего рабочего состояния.

    Поэтому не стоить вносить правки в файлы vmx вручную, а стоит воспользоваться интерфейсом vSphere Client:

    Можно также внести правки в расширенные настройки виртуальной машины через интерфейсы удаленного администрирования, например, как описано в этой статье.


    Таги: VMware, vSphere, VMachines, ESXi, Blogs, Обучение

    Вышел VMware vSphere Data Protection (VDP) Advanced - отличия от обычного VDP.


    Как многие из вас знают, у компании VMware есть средство для резервного копирования виртуальных машин на серверах VMware ESXi - VMware vSphere Data Protection (VDP), входящее в состав платформы виртуализации VMware vSphere 5.1.

    Это решение построено на базе продукта EMC Avamar, что позволяет производить резервное копирование содержимого гостевой ОС виртуальной машины, без агентов и со встроенной дедупликацией. Этот продукт заменил предыдущее решение vSphere Data Recovery, которым ранее бэкапились виртуальные машины.

    На прошлой неделе компания VMware выпустила расширенную версию продукта - vSphere Data Protection Advanced.

    Взглянем на отличия обычного VDP от VDP Advanced:

    По-сути, отличия заключаются в том, что VDP Advanced может применять дедупликацию на хранилищах до 8 ТБ, поддерживает резервное копирование до 400 ВМ и имеет в своем составе агентов для восстановления объектов ПО Microsoft. В частности, VDP Advanced может восстанавливать отдельные объекты Microsoft SQL (все приложение, файлы БД или только архивные логи) средствами SQL Agent, а Exchange Server Agent позволяет производить гранулярное восстановление почтовых ящиков и отдельных сообщений.

    Продукт традиционно поставляется в виде виртуального модуля (Virtual Appliance) и требует обязательного наличия vCenter Server 5.1, а также установленного vSphere Web Client.

    Ценовая политика на решение vSphere Data Protection Advanced вызывает недоумение: за сокет сервера ESXi придется заплатить $1095 (в ценах NAM). И это при том, что Veeam Backup and Replication 6.5 Enterprise, имеющий намного больше возможностей, стоит практически столько же.

    Более подробно о решении VMware vSphere Data Protection Advancedможно почитать в официальном пресс-релизе.


    Таги: VMware, vSphere, VDP, Backup, Update

    Shadow vmnics в выводе esxtop на VMware ESXi.


    Если заглянуть в секцию Network утилиты esxtop, то там (начиная с ESXi 5.1) можно увидеть объекты Shadow of vmnic1 и т.п.:

    На самом деле, эти штуки созданы для обеспечения работы функций VDS Network Health Check, которые появились в VMware vSphere 5.1. Для каждого физического интерфейса создается shadow port, через который посылаются пакеты Health Check, связанные с состоянием этого порта. Эти виртуальные интерфейсы можно мониторить на предмет работоспособности означенной функциональности.

    Если эти штуки вам мешают, то можно убрать их, отключив модули хоста ESXi, связанные с хэлсчеком (заодно и в целях безопасности). Для этого нужно выполнить следующую последовательность команд для выгрузки ненужных модулей:

    vmkload_mod -u vlanmtucheck
    vmkload_mod -u teamcheck
    vmkload_mod -u heartbeat
    vmkload_mod -u healthchk

    Помните, что после перезагрузки эти изменения не сохранятся - модули снова будут загружены автоматически.

    Кстати, не по теме, но хозяйке на заметку: если вы видите, что в esxtop какой-либо счетчик принимает только значения 0 или 100 - знайте, что это просто означает работает эта штука в данный момент времени или нет. Так, например, происходит с SIOC. Просто нет еще в esxtop булевых метрик.


    Таги: VMware, ESXi, vNetwork, Blogs, vSphere, VDS

    Обнаружение LUN и Rescan в VMware vSphere 5.1.


    Интересная статья обнаружилась у Кормака, касающаяся того, как работает LUN Discovery на хостах VMware ESXi. Оказывается все новые LUN, висящие на одном таргете обнаруживаются сервером ESXi автоматически по заданному таймауту.

    То есть мы сначала делаем Rescan, чтобы добавить новый таргет (порт массива), например, T2 с LUN ID=10:

    Дальше на этом таргете создаем новый LUN ID=20, и через какое-то время он автоматически появляется в списках устройств:

    Все это потому, что по умолчанию каждые 5 минут вызывается проба (SCSI-команды  REPORT_LUN и/или INQUIRY), целью которой является обнаружение новых устройств и путей на известных хосту таргетах. Настраивается это время (в секундах) в следующей расширенной настройке (по умолчанию 300 секунд):

    Disk.DeviceReclaimTime

    Кроме того, все это отрабатывает и тогда, когда происходят операции добавления (Rescan) или удаления таргета.


    Таги: VMware, ESXi, Обучение, Storage, LUN

    Как получить доступ к USB-устройствам (флешкам) хоста из консоли VMware ESXi 5.x.


    Если вам по каким-либо причинам понадобилось подключить флэшку или другое USB-устройство к VMware ESXi, например, в целях сбора диагностических данных или интеграции сторонних пакетов (или драйверов) в гипервизор, то сделать это можно способом, описанным ниже. Прежде всего отметим, что монтирование USB-хранилищ в консоль ESXi поддерживается только для файловой системы FAT16.

    1. Сначала нужно отключить службу USB Arbitrator service, которая отвечает за проброс USB-девайсов в виртуальные машины хост-сервера. Для этого выполняем команду:

    # /etc/init.d/usbarbitrator stop

    2. Далее подключаем носитель к ESXi и проверяем девайс командой:

    # esxcli storage core device list | grep -i usb

    или смотрим список смонтированных файловых систем:

    # esxcli storage filesystem list

    После этого вы можете работать с USB-устройством через папку /vmfs/volumes/NO NAME/. Например, можно установить бандл ESXi с флешки:

    # esxcli software vib install -d /vmfs/volumes/NO\ NAME/offline-bundle.zip

    3. По завершении работы включаем арбитратор командой:

    # /etc/init.d/usbarbitrator start


    Таги: VMware, ESXi, USB, Storage, Обучение

    Teradici Arch - технологическое превью продукта для доступа к ПК через PCoIP и RDS.


    Не так давно мы писали о том, что компания Teradici планирует выпустить продукт для доступа пользователей к серверам инфраструктуры предприятия через высокопроизводительный протокол PCoIP и сервисы Microsoft RDS. Изначально это решение носило название Teradici Remote Desktop Services Host (RDSH), теперь же оно звучит проще - Teradici Arch.

    На самом деле, релиз продукта ожидался в ближайшем будущем, однако был отложен из-за наблюдающихся проблем с масштабируемостью решения (а именно - при превышении 45 сессий на Windows-сервер). Поэтому он выпущен пока как технологическое превью.

    Решение Teradici Arch направлено на тех пользователей, кто использует терминальные службы Microsoft для доступа пользователей к приложениям, размещенным на серверах Microsoft Windows Server, которые они по каким-то причинам не хотят (или не могут) переносить в VDI-среду VMware View.

    С одной стороны, для VMware этот шаг Teradici очень выгоден - поскольку решение Arch завязано на брокер соединений VMware View Manager (обязательное требование), только VMware сможет предлагать своим клиентам законченное решение как по виртуализации рабочих нагрузок в VDI-среде VMware View, так и для улучшения производительности Legacy-информационных систем, применяющих терминальный доступ на базе Microsoft RDS в Windows Server 2008 и Windows Server 2012 (последний пока не поддерживается).

    С другой же стороны, не будем забывать, что компания Teradici не принадлежит VMware, и решение Arch несколько диверсифицирует ее софтово-продуктовый портфель, что может привести к приобретению большей независимости от VMware в будущем и, как следствие, сотрудничеству с Microsoft.

    Архитектура решения Teradici Arch такова:

    В разрыв канала между софтовыми и железными клиентами ставится виртуальный модуль PCoIP Connection Manager (Virtual Appliance), который и отвечает за обработку соединений пользователей и выступает в качестве защищенного шлюза. Модуль PCoIP Security Gateway позволяет поддерживать безопасное соединение между клиентами и View Connection Server (который находится в DMZ), что не требует наличия стороннего VPN-решения. Компоненты PCoIP Services устанавливаются на Windows-серверы и позволяют полностью избавиться от RDP-протокола, заменив его на PCoIP (то есть, RDP становится недоступным на этих серверах).

    Требования продукта Teradici Arch:

    • Microsoft Windows Server 2008 R2 SP1 x64 с сервисами RDS (работающий в виртуальных машинах на ESXi или на физических серверах)
    • VMware View Agent 5.1 или более поздней версии
    • VMware View Connection Server 5.1 или более поздней версии
    • Установленные VMware Tools, если сервер работает в виртуальной машине

    На данный момент заявлена поддержка до 2-х мониторов на публикуемый рабочий стол с разрешением 2560×1600. Поддерживаемые клиенты:

    • PCoIP Zero Clients
      • Tera2: firmware version 4.0.3
      • Tera1: firmware version 4.0.2
    • VMware View Windows soft client, version 5.2
    • VMware View Apple OS X soft client, version 1.7
    • VMware View iOS and Android clients, version 1.7

    Поддержка USB-устройств пока ограничена только клавиатурой и мышью.

    Продукт Teradici Arch пока доступен только в качестве технологического превью по этой ссылке. Даташит доступен тут.


    Таги: VMware, Teradici, Arch, PCoIP, View, Microsoft, RDS

    Синхронизация времени гостевой ОС и другие настройки VMware Tools в VMware vSphere 5.1.


    Как многие помнят, ранее в настройках VMware Tools можно было настраивать синхронизацию времени гостевой ОС со временем хост-сервера VMware ESXi. Доступно это было при двойном клике на иконку VMware Tools в гостевой системе:

    Теперь же, начиная с vSphere 5.1, при двойном клике на иконку VMware Tools вы увидите следующее:

    То есть тут, по-сути, доступна только информация о версии пакета. Это правильно, так как пользователю виртуальной машины не должно быть доступно никаких действий и настроек, относящихся к слою виртуализации.

    Вместо этого, различные настройки, в том числе синхронизации времени, были вынесены в категорию VMware Tools опций виртуальной машины (Virtual Machine –> Edit Settings –> Options –> VMware Tools):

    Теперь администраторам VMware vSphere не требуется полномочий в гостевой ОС, чтобы регулировать настройки VMware Tools.


    Таги: VMware, Tools, vSphere, ESXi, VMachines, Blogs

    VMware продолжает русифицироваться: портал с обучающими видео по продуктам на русском языке.


    Компания VMware продолжает похвальное начало по локализации и переводу обучающих материалов по продуктам VMware vSphere, View, SRM и другим на русский язык. На прошлой неделе мы писали о доступности нового бесплатного курса по VMware View 5, а какое-то время назад - о доступности портала с обучающим видео vmwarelearning.com.

    Теперь же компания VMware объявила о доступности этого портала на русском языке:

    Видео и презентации, используемые в них, переведены на русский язык:

    Конечно же, хит - это установка VMware ESXi 5:

    Но есть штуки и поинтереснее, например, настройка распределенных коммутаторов VDS:

    В общем, молодцы - начинание хорошее.


    Таги: VMware, vSphere, Video, ESXi, SRM, vCenter, View

    VMware ESXi Host Backup & Restore GUI Utility - резервное копирование и восстановление конфигурации хост-сервера из графического интерфейса.


    Какое-то время назад мы писали про утилиту vSphere Configuration Backup, которая позволяет производить резервное копирование конфигурации серверов VMware ESXi из графического интерфейса. Сегодня мы расскажем еще об одной подобной утилите - VMware ESXi Host Backup & Restore GUI Utility.

    Написана она на PowerCLI человеком по имени Sean Duffy и обновлялась совсем недавно - 29 декабря прошлого года.

    Для резервного копирования и восстановления конфигурации VMware ESXi используются командлеты PowerCLI  Get-VMHostFirmware и Set-VMHostFirmware. Утилита была протестирована для ESXi 5.0 и 5.1, графический интерфейс позволяет производить резервное копирование на локальный диск компьютера, где она запущена. Убедитесь, кстати, что в вашей инфраструктуре работает служба DNS, так как утилита обращается к хост-серверам по именам.

    Из интересных особенностей - возможность восстановить конфигурацию на другой хост ESXi (на скриншоте подчеркнуто красным). В последней версии также добавлена валидация хоста на возможность резервного копирования и восстановления (т.е., что он не находится в maintenance mode и вообще работает).

    Скачать ESXi Host Backup & Restore GUI Utility можно по этой ссылке. Для запуска утилиты вам потребуется установленный PowerShell / PowerCLI.


    Таги: VMware, ESXi, Backup, PowerShell, PowerCLI

    Veeam Backup Free Edition - возможности



    Таги:

    VMware Paravirtual SCSI (PVSCSI) - использование в качестве загрузочых дисков виртуальных машин на VMware vSphere.


    Очень давно мы писали про тип виртуальных дисков Paravirtual SCSI (PVSCSI), который появился в VMware vSphere 4 и был создан для требовательных к ресурсам ввода-вывода нагрузок. На заре своего развития виртуальные диски типа PVSCSI не рекомендовались к использованию в качестве загрузочных, а также имели несколько серьезных багов, но широко тестировались в связи с тем, что показывали большую производительность, чем стандартный LSI SCSI.

    Эту статью мы пишем, главным образом, здесь для того, чтобы сказать - уже можно. Виртуальные диски Paravirtual SCSI достаточно стабильно работают в VMware vSphere. В KB 1010398 мы видим матрицу поддержки дисков pvscsi для различных релизов VMware vSphere (обычные и boot-диски):

    Guest operating system Data Disk Boot Disk
    Windows Server 2008 R2 (64-bit only) ESX/ESXi 4.0 Update 1, ESX/ESXi 4.1, ESXi 5.0 ESX/ESXi 4.0 Update 1, ESX/ESXi 4.1, ESXi 5.0

    Windows Server 2008 (32 and 64 bit)

    ESX/ESXi 4.X, ESXi 5.0

    ESX/ESXi 4.0 Update 1, ESX/ESXi 4.1, ESXi 5.0

    Windows Server 2003 (32 and 64 bit)

    ESX/ESXi 4.x, ESXi 5.0

    ESX/ESXi 4.x, ESXi 5.0

    Windows 7 (32 and 64 bit) ESX/ESXi 4.1, ESXi 5.0 ESX/ESXi 4.1, ESXi 5.0
    Windows Vista (32 and 64 bit) ESX/ESXi 4.1, ESXi 5.0 ESX/ESXi 4.1, ESXi 5.0
    Windows XP (32 and 64 bit) ESX/ESXi 4.1, ESXi 5.0 ESX/ESXi 4.1, ESXi 5.0

    Red Hat Enterprise Linux (RHEL) 5 (32 and 64 bit) and all update releases

    ESX/ESXi 4.X, ESXi 5.0

    Not Supported

    RHEL 6 (32 and 64 bit)

    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0

    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0

    SUSE Linux Enterprise 11 SP1(32 and 64 bit) and later releases

    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0
    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0

    Ubuntu 10.04 (32 and 64 bit) and later releases

    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0

    ESX/ESXi 4.0 Update 2, ESX/ESXi 4.1, ESXi 5.0

    Distros using Linux version 2.6.33 or later and that include the vmw_pvscsi driver

    ESX/ESXi 4.1, ESXi 5.0

    ESX/ESXi 4.1, ESXi 5.0

    В VMware vSphere/ESXi 5.1 поддерживается все то, что поддерживалось и в предыдущих версиях платформы.

    Что же раньше были за баги с PVSCSI? Смотрим, например, в статье тут, отсылающей нас к KB компании Microsoft. Ошибка существовала для ОС Windows Server 2008 R2 и была критической, а устранена была только в VMware vSphere 5.0 Update 1, о чем есть KB 2004578.

    Теперь о том, как поставить диск типа PVSCSI в качестве загрузочного для виртуальной машины на ESXi. Выбираем в vSphere Client контроллер типа VMware Paravirtual :

    В настройках виртуальной машины добавляем виртуальный floppy-дисковод и указываем образ дискеты с драйвером PVSCSI, который лежит в папке vmimages->floppies (если там ничего нет, идем сюда):

    Дальше при выборе диск для установки Windows указываем драйвер с дискеты:

    Дальше ставим все как обычно. Если хочется запихнуть драйвер PVSCSI в кастомизированную ISO-шку, то вам сюда. И да, драйвер на образе дискеты от Windows Server 2008 прекрасно работает на Windows Server 2012, который, в свою очередь, работает на VMware vSphere 5.1.


    Таги: VMware, Storage, PVSCSI, VMachines, Performance

    Не работает импорт виртуальных дисков через vmkfstools в VMware vSphere 5.1.


    Если вы попробуете импортировать виртуальную машину (или Virtual Appliance), которая была создана для настольных платформ виртуализации (например, VMware Workstation в формате 2gbsparse), в VMware vSphere 5.1 с помощью утилиты vmkfstools, то у вас это не выйдет. Вы получите подобное сообщение:

    # vmkfstools -i <VM-name.vmdk> <VM-name-new-disk>.vmdk -d zeroedthick

    Failed to open 'VM-name.vmdk': The system cannot find the file specified (25).

    Ошибка может быть и такой:

    File [VMFS volume]\VM-name.vmdk was not found.

    И такой:

    Error Stack:
    An error was received from the ESX host while powering on VM VM-name
    Cannot open the disk '/vmfs/volumes/Datastore/VM-name/VM-name.vmdk' or one of the snapshot disks it depends on.
    The system cannot find the file specified.
    VMware ESX cannot find the virtual disk '/vmfs/volumes/Datastore/VM-name/VM-name.vmdk'. Verify the path is valid and try again.

    Все это из-за одного и того же - в VMware vSphere 5.1 убрали автоматическую загрузку модуля multiextent, который и отвечает как раз за конверсию виртуальных дисков с hosted-платформ VMware в формат VMFS. Чтобы загрузить этот модуль нужно выполнить простую команду:

    # vmkload_mod multiextent

    Ну а чтобы выгрузить:

    # vmkload_mod -u multiextent

    Делать это можно смело, так как этот модуль отвечает только за работу с Non-VMFS дисками ВМ.


    Таги: VMware, vSphere, VMDK, VMFS, ESXi, VMachines, Troubleshooting

    Тем, кто готовится стать VMware Certified Advanced Professional - руководство VCAP5-DCA Study Guide.


    Не так давно мы делали обзор сертификаций VMware, где упоминали о сертификации VMware Certified Advanced Professional (VCAP), которая является переходным звеном от стандартной сертификации профессионалов VCP к "звездам" -  VMware Certified Design Expert (VCDX).

    Так вот для тех из вас, кто решил встать на нелегкий путь сертификации VCAP (экзамены действительно сложные), вышло руководство VCAP5-DCA Study Guide, основанное на официальном Blueprint и насчитывающее 349 страниц (!). В нем, как это часто бывает, много ботвы, но и по существу есть немало полезного.

    Для администраторов VMware vSphere в руководстве также найдется много интересного. Руководство снабжено картинками, командами CLI и, что самое нужное при подготовке к экзамену VCAP, отсылками к конкретным документам VMware (и их главам) по каждой теме. Штука местами очень классная - рекомендую.


    Таги: VMware, vSphere, VCAP, VCP, Certification, ESXi, Whitepaper

    Максимальное количество миграций VMware vMotion и Storage vMotion - хосты, сети и хранилища.


    Полгода назад мы писали об особенностях работы технологии VMware Storage vMotion, где касались максимального числа одновременных миграций SVMotion на хранилище VMware vSphere. Там же мы вскользь касались миграций vMotion и упоминали вот эту нашу статью, где рассматривались лимиты одновременных миграций vMotion на серверах и хранилищах.

    Теперь, на основе статьи Франка, мы обобщим и актуализуем информацию по миграциям vMotion и Storage vMotion в разных контекстах - на уровне хранилищ, сети и хост-серверов VMware ESX.

    Как и в прошлой статье, здесь будем пользоваться понятием стоимости миграции в единицах (cost) и максимального значения костов в тех же единицах (max cost), которое отображает предельно допустимое значение. Сумма костов операций vMotion и SVMotion не должна превышать max cost для соответствующего объекта (datastore, NIC и хост ESXi).

    Теперь взглянем на таблички (в них есть не только vMotion, но и SVMotion):

    Хост ESXi

    Operation Config Key Cost
    vMotion Cost costPerVmotionESX41 1
    Storage vMotion Cost costPerSVmotionESX41 4
    Maximum Cost maxCostPerEsx41Host 8

    Сеть

    Operation Config Key Cost
    vMotion Cost networkCostPerVmotion 1
    Storage vMotion Cost networkCostPerSVmotion 0
    Maximum Cost maxCostPerNic 2
    maxCostPer1GNic 4
    maxCostPer10GNic 8

    Хранилище (Datastore)

    Operation Config Key Cost
    vMotion Cost CostPerEsx41Vmotion 1
    Storage vMotion Cost CostPerEsx41SVmotion 16
    Maximum Cost maxCostPerEsx41Ds 128

    Читать эти таблички просто - например, для хоста ESXi стоимость миграции vMotion равна 1, а поскольку max cost равно 8, то всего на хост может быть 8 одновременных миграций в конфигурации по умолчанию. Либо допустимы одновременно: 1 миграция SVMotion (4 очка) и 4 штуки vMotion (по одному очку каждая), т.е. суммировать надо по костам: 4+1+1+1+1=8.

    Для хранилища (Datastore) также есть ограничения vMotion, поскольку передаются страницы файла подкачки (если он не шаренный между хостами), а также производится передача владения VMX-файлом и другими файлами ВМ на хранилище. Но поскольку влияние это мало, то стоимость vMotion для хранилища всего 1 при максимальной емкости одновременных операций 128 (а вот SVMotion, требующая значительных ресурсов хранилища, "кушает" 16 единиц). Таким образом 1 операция vMotion съест 1 единицу коста, поэтому в этот момент для хранилища будет доступно только 7 миграций SVMotion, т.е. (128-1) div 16 = 7.

    Соответственно, редактирование параметра Config Key для соответствующей операции позволяет изменять количество одновременных операций vMotion/SVMotion. Для редактирования параметра Config Key нужно отредактировать конфигурационный файл vpxd.cfg на сервере VMware vCenter, который находится в папке:

    %ALLUSERSPROFILE%\Application Data\VMware\VMware VirtualCenter\

    Там нужно вписать новое значение в соответствующую секцию. Например, для параметра maxCostPerEsx41Ds:

    < config >
    < vpxd >
    < ResourceManager >
    < MaxCostPerEsx41DS > new value < /MaxCostPerEsx41DS >
    < /ResourceManager >
    < /vpxd >
    < /config >

    Если соответствующей секции нет, то ее можно просто добавить. Уменьшать максимальные косты точно можно, а увеличение работает не всегда. То есть гарантированно вы сможете только уменьшить число одновременных миграций vMotion или SVMotion, а вот увеличить - не факт. Ограничение можно делать двумя способами - повышением обычных костов или понижением максимальных костов.

    Теперь самое интересное - это динамический параметр max cost для сетевых адаптеров. Как видно из таблицы, его действующее значение зависит от типа сетевого адаптера на хосте - 1G или 10G. Но, на самом деле, и не только от типа. Точнее - от скорости соединения для трафика vMotion между хостами ESXi, которую обнаруживает VMkernel. Таким образом:

    • Если VMkernel обнаруживает соединение на скорости 1Gbit/s - Maximum Cost выставляется в значение 4 (это верно и для случая соединения 1G<->10G).
    • Если VMkernel обнаруживает соединение на скорости 10Gbit/s - Maximum Cost выставляется в значение 8.
    • Если VMkernel обнаруживает соединение на скорости ниже 1Gbit/s - Maximum Cost выставляется в значение 2.

    Таким образом, для адаптера возможны либо 2, либо 4, либо 8 одновременных миграций vMotion, в зависимости от действующей скорости соединения. Операция Storage vMotion, как видно из таблицы, костов сети не кушает.

    Если ограничение для сети жестче (например, 4 миграции vMotion), чем ограничение для хоста (8 миграций vMotion) - то для машин этого хоста действует ограничение сети.


    Таги: VMware, vSphere, vMotion, ESXi, Storage vMotion, SVMotion, VMachines, Storage, vNetwork

    <<   <    1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57    >   >>
    Интересное:





    Зал Славы Рекламодателя
    Ближайшие события в области виртуализации:

    Быстрый переход:
    VMware Kubernetes VMachines Enterprise Offtopic Broadcom Veeam Microsoft Cloud StarWind NAKIVO vStack Gartner Vinchin Nakivo IT-Grad Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Security Code Cisco vGate SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V VCF vSAN VKS Private AI VMmark Operations Certification Memory NVMe AI VMConAWS vDefend VCDX Explore Tanzu Workstation Update Russian Ports HCX Live Recovery CloudHealth NSX Labs Backup Chargeback Aria VCP Intel Community Ransomware Stretched Network VMUG VCPP Data Protection ONE V2V DSM DPU Omnissa EUC Avi Skyline Host Client GenAI Horizon SASE Workspace ONE Networking Tools Performance Lifecycle AWS API USB SDDC Fusion Whitepaper SD-WAN Mobile SRM ARM HCI Converter Photon OS VEBA App Volumes Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey RDMA vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics HCIBench SureBackup Docs Carbon Black vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Availability Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V Capacity KB VirtualCenter NFS ThinPrint Upgrade VCAP Orchestrator ML Director SIOC Troubleshooting Bugs ESA Android Python Hub Guardrails CLI Driver Foundation HPC Optimization SVMotion Diagram Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
    Полезные постеры:

    Постер VMware vSphere PowerCLI 10

    Постер VMware Cloud Foundation 4 Architecture

    Постер VMware vCloud Networking

    Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

    Постер Azure VMware Solution Logical Design

    Постер Google Cloud VMware Engine Logical Design

    Постер Multi-Cloud Application Mobility

    Постер VMware NSX (референсный):

    Постер VMware vCloud SDK:

    Постер VMware vCloud Suite:

    Управление памятью в VMware vSphere 5:

    Как работает кластер VMware High Availability:

    Постер VMware vSphere 5.5 ESXTOP (обзорный):

     

    Популярные статьи:
    Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

    Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

    Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

    Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

    Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

    Сравнение Oracle VirtualBox и VMware Workstation.

    Работа с дисками виртуальных машин VMware.

    Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

    Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

    Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

    Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

    Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

    Как поднять программный iSCSI Target на Windows 2003 Server для ESX

    Инфраструктура виртуальных десктопов VMware View 3 (VDI)

    Как использовать возможности VMware vSphere Management Assistant (vMA).

    Интервью:

    Alessandro Perilli
    virtualization.info
    Основатель

    Ратмир Тимашев
    Veeam Software
    Президент


    Полезные ресурсы:

    Последние 100 утилит VMware Labs

    Новые возможности VMware vSphere 8.0 Update 1

    Новые возможности VMware vSAN 8.0 Update 1

    Новые документы от VMware

    Новые технологии и продукты на VMware Explore 2022

    Анонсы VMware весной 2021 года

    Новые технологии и продукты на VMware VMworld 2021

    Новые технологии и продукты на VMware VMworld 2020

    Новые технологии и продукты на VMware VMworld Europe 2019

    Новые технологии и продукты на VMware VMworld US 2019

    Новые технологии и продукты на VMware VMworld 2019

    Новые технологии и продукты на VMware VMworld 2018

    Новые технологии и продукты на VMware VMworld 2017



    Copyright VM Guru 2006 - 2026, Александр Самойленко. Правила перепечатки материалов.
    vExpert Badge